对象检测是自动驾驶中的一个全面研究的问题。但是，在鱼眼相机的情况下，它的探索相对较少。强烈的径向失真破坏了卷积神经网络的翻译不变性电感偏置。因此，我们提出了自动驾驶的木观鱼眼检测挑战，这是CVPR 2022年全向计算机视觉（OMNICV）的一部分。这是针对鱼眼相机对象检测的首批比赛之一。我们鼓励参与者设计在没有纠正的情况下对鱼眼图像的本地工作的模型。我们使用Codalab根据公开可用的Fisheye数据集主持竞争。在本文中，我们提供了有关竞争的详细分析，该分析吸引了120个全球团队的参与和1492份提交的参与。我们简要讨论获胜方法的细节，并分析其定性和定量结果。

眼睛的形成导致进化的大爆炸。动态从原始生物体等待，等待食物接触以食用视觉传感器所寻求的食物。人眼是进化最复杂的发展之一，但仍然存在缺陷。人类已经进化了一种生物学感知算法，能够驾驶汽车，操作机械，飞行飞机以及数百万年的船只航行。为计算机自动化这些功能对于包括自动驾驶汽车，增强现实和建筑测量的各种应用至关重要。在自动驾驶汽车的背景下，近场视觉感知可以使环境在$ 0-10 $米的范围内和车辆周围的360 {\ deg}覆盖范围内感知。这是开发更安全的自动驾驶的关键决策组成部分。计算机视觉和深度学习的最新进展以及相机和激光镜等高质量传感器的结合增强了成熟的视觉感知解决方案。到目前为止，远场感知一直是主要重点。另一个重要的问题是可用于开发实时应用程序的有限处理能力。由于这种瓶颈，性能和运行时间效率之间经常会取消权衡。我们专注于以下问题以解决这些问题：1）针对使用卷积神经网络等各种视觉感知任务（例如几何和语义任务），开发具有高性能和低计算复杂性的近场感知算法。 2）使用多任务学习来克服计算瓶颈，通过在任务之间共享初始卷积层和制定平衡任务的优化策略。

环绕视图相机是用于自动驾驶的主要传感器，用于近场感知。它是主要用于停车可视化和自动停车的商用车中最常用的传感器之一。四个带有190 {\ deg}视场覆盖车辆周围360 {\ deg}的鱼眼相机。由于其高径向失真，标准算法不容易扩展。以前，我们发布了第一个名为Woodscape的公共鱼眼环境视图数据集。在这项工作中，我们发布了环绕视图数据集的合成版本，涵盖了其许多弱点并扩展了它。首先，不可能获得像素光流和深度的地面真相。其次，为了采样不同的框架，木景没有同时注释的所有四个相机。但是，这意味着不能设计多相机算法以在新数据集中启用的鸟眼空间中获得统一的输出。我们在Carla模拟器中实现了环绕式鱼眼的几何预测，与木观的配置相匹配并创建了Synwoodscape。

尽管深度神经网络（DNNS）在环境感知任务上取得了令人印象深刻的表现，但它们对对抗性扰动的敏感性限制了它们在实际应用中的使用。在本文中，我们（i）提出了一种基于对复杂视觉任务的多任务感知（即深度估计和语义分割）的新型对抗扰动检测方案。具体而言，通过在输入图像的提取边缘，深度输出和分割输出之间的不一致之处检测到对抗性扰动。为了进一步提高这一技术，我们（ii）在所有三种方式之间发展了新颖的边缘一致性损失，从而提高了它们的初始一致性，从而支持我们的检测方案。我们通过采用各种已知攻击和图像噪声来验证检测方案的有效性。此外，我们（iii）开发了多任务对抗攻击，旨在欺骗这两个任务以及我们的检测方案。对城市景观和KITTI数据集的实验评估表明，在假设5％的假阳性率的假设下，最高100％的图像被正确检测为对抗性扰动，具体取决于扰动的强度。代码可在https://github.com/ifnspaml/advattackdet上找到。 https://youtu.be/kka6goywmh4的简短视频可提供定性结果。

深度神经网络（DNN）在近年来，包括自动驾驶感知任务，包括自主驾驶感知任务的令人印象深刻。另一方面，目前的深神经网络很容易被对抗性攻击所欺骗。此漏洞提高了重要的问题，特别是在安全关键型应用中。因此，攻击和捍卫DNN的研究已经获得了很多覆盖范围。在这项工作中，横跨距离估计，语义分割，运动检测和对象检测，对详细的对抗攻击应用于各种多任务视觉感知深网络。实验考虑了针对目标和未定位案件的白色和黑色盒子攻击，同时攻击任务并检查所有其他效果，除了检查应用简单防御方法的效果。我们通过比较和讨论实验结果，提出见解和未来工作来结束本文。攻击的可视化可在https://youtu.be/6aixn90Budy上获得。

电动汽车越来越普遍，具有电感折射板被认为是充电电动车辆的方便和有效的手段。然而，驾驶员通常较差，使车辆对准到必要的电感充电的必要精度时，使得两个充电板的自动对准是所需的。与车辆队列的电气化平行，利用环保相机系统的自动停车系统越来越受欢迎。在这项工作中，我们提出了一种基于环绕式摄像机架构的系统来检测，本地化，并自动将车辆与电感充电板对齐。费用板的视觉设计不标准化，并不一定事先已知。因此，依赖离线培训的系统将在某些情况下失败。因此，我们提出了一种在线学习方法，在手动将车辆用ChartionPad手动对准时，利用驾驶员的行动，并将其与语义分割和深度的弱监督相结合，以学习分类器以自动注释视频中的电荷工作以进行进一步培训。通过这种方式，当面对先前的未持代币支付板时，驾驶员只需手动对准车辆即可。由于电荷板在地上平坦，从远处检测到它并不容易。因此，我们建议使用Visual Slam管道来学习相对于ChiftPad的地标，以实现从更大范围的对齐。我们展示了自动化车辆上的工作系统，如视频HTTPS://youtu.BE/_CLCMKW4UYO所示。为了鼓励进一步研究，我们将分享在这项工作中使用的费用数据集。

自动驾驶正在快速推进，级别2个功能正在成为标准功能。最重要的休假之一是在苛刻的天气和低光条件下获得强大的视觉感知，其中精度降解严重。在这些场景期间，具有天气分类模型将降低视觉感知信心至关重要。因此，我们已经为天气（雾，雨，雪）分类和光线（明亮，适度，低）分类建造了新的数据集。此外，我们提供街道类型（沥青，草和鹅卵石）分类，导致9个标签。每个图像都有三个标签，对应天气，光线水平和街道类型。我们录制了利用RCCC（RED / CLEAR）格式的工业前置摄像头的数据，分辨率为1024 \ times1084 $。我们收集了15k视频序列和采样的60K图像。我们实现了一个主动学习框架，以减少数据集的冗余，并找到用于训练模型的最佳帧集。我们将60K图像进一步蒸馏到1.1K图像，这将在隐私匿名化之后公开分享。没有公共数据集的天气和光线分类，专注于自动驾驶到我们的知识。用于天气分类的基线ResET18网络实现了最先进的导致两种非汽车天气分类公共数据集，但在我们提出的数据集中明显降低了准确性，证明它不是饱和的，需要进一步研究。

Object detection is a comprehensively studied problem in autonomous driving. However, it has been relatively less explored in the case of fisheye cameras. The standard bounding box fails in fisheye cameras due to the strong radial distortion, particularly in the image's periphery. We explore better representations like oriented bounding box, ellipse, and generic polygon for object detection in fisheye images in this work. We use the IoU metric to compare these representations using accurate instance segmentation ground truth. We design a novel curved bounding box model that has optimal properties for fisheye distortion models. We also design a curvature adaptive perimeter sampling method for obtaining polygon vertices, improving relative mAP score by 4.9% compared to uniform sampling. Overall, the proposed polygon model improves mIoU relative accuracy by 40.3%. It is the first detailed study on object detection on fisheye cameras for autonomous driving scenarios to the best of our knowledge. The dataset comprising of 10,000 images along with all the object representations ground truth will be made public to encourage further research. We summarize our work in a short video with qualitative results at https://youtu.be/iLkOzvJpL-A.

The previous fine-grained datasets mainly focus on classification and are often captured in a controlled setup, with the camera focusing on the objects. We introduce the first Fine-Grained Vehicle Detection (FGVD) dataset in the wild, captured from a moving camera mounted on a car. It contains 5502 scene images with 210 unique fine-grained labels of multiple vehicle types organized in a three-level hierarchy. While previous classification datasets also include makes for different kinds of cars, the FGVD dataset introduces new class labels for categorizing two-wheelers, autorickshaws, and trucks. The FGVD dataset is challenging as it has vehicles in complex traffic scenarios with intra-class and inter-class variations in types, scale, pose, occlusion, and lighting conditions. The current object detectors like yolov5 and faster RCNN perform poorly on our dataset due to a lack of hierarchical modeling. Along with providing baseline results for existing object detectors on FGVD Dataset, we also present the results of a combination of an existing detector and the recent Hierarchical Residual Network (HRN) classifier for the FGVD task. Finally, we show that FGVD vehicle images are the most challenging to classify among the fine-grained datasets.

Code generation models have achieved impressive performance. However, they tend to be brittle as slight edits to a prompt could lead to very different generations; these robustness properties, critical for user experience when deployed in real-life applications, are not well understood. Most existing works on robustness in text or code tasks have focused on classification, while robustness in generation tasks is an uncharted area and to date there is no comprehensive benchmark for robustness in code generation. In this paper, we propose ReCode, a comprehensive robustness evaluation benchmark for code generation models. We customize over 30 transformations specifically for code on docstrings, function and variable names, code syntax, and code format. They are carefully designed to be natural in real-life coding practice, preserve the original semantic meaning, and thus provide multifaceted assessments of a model's robustness performance. With human annotators, we verified that over 90% of the perturbed prompts do not alter the semantic meaning of the original prompt. In addition, we define robustness metrics for code generation models considering the worst-case behavior under each type of perturbation, taking advantage of the fact that executing the generated code can serve as objective evaluation. We demonstrate ReCode on SOTA models using HumanEval, MBPP, as well as function completion tasks derived from them. Interesting observations include: better robustness for CodeGen over InCoder and GPT-J; models are most sensitive to syntax perturbations; more challenging robustness evaluation on MBPP over HumanEval.